DailyReport: An Open-ended Benchmark for Evaluating Search Agents on Daily Search Tasks
DailyReport：日常搜索任务上评估搜索代理的开放式基准
🧭 Agent 评估基准 · 细粒度与可解释评估
University of Science and Technology of China · Meituan
构造包含150个日常搜索任务与3546条细粒度评分标准的基准，提供可解释的多维评估，揭示现有搜索代理普遍未达用户预期
📌 工作参考价值（4 点）
- 任务分解与级联评分标准：借鉴其子任务分解和级联 rubric 设计，可在电商搜索/推荐代理评估中实现细粒度能力诊断（如商品推荐的准确性、解释质量、多源信息融合能力）。
- 用户中心聚合分数：提出的用户偏好分数可作为离线代理指标，近似真实用户满意度，用于 Agent 的迭代优化或线上 A/B 测试前的快速筛选。
- 17 个系统对比揭示的短板：时效性、多源合成等维度的普遍缺陷表明，在构建电商搜索代理时需特别强化实时信息的抓取与融合机制。
- 数据集与任务构造思路：可从真实用户讨论中挖掘任务，构建贴合电商场景（如比价、商品咨询）的评估集，复现其评估管线。